LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation
LatentLoop：非对称计算分配的循环 MoE 模型规模化
🧭 循环 MoE 训练 · 非对称计算分配
SJTU · Shanghai AI Lab · USTC · CUHK · NTU
提出 LatentLoop，压缩首轮循环序列、保留次轮全分辨率，将省下算力重分配给隐藏宽度，在相同预算下降低 NLL 并提升下游基准
📌 工作参考价值（4 点）
- 在用户行为序列建模中，可借鉴 LatentLoop 的非对称计算分配：对长序列第一轮使用压缩表示（如 latent 投影或 token 合并），第二轮保留全分辨率，并将节省的 FLOPs 转向加宽 hidden size，而非直接降低延迟；这可在相同推理预算下提升模型质量。
- 用可学习残差系数诊断循环 Transformer 各次访问的贡献，识别可压缩的浅层/首轮访问，指导剪枝或低精度量化；固定系数实验结论“首轮可压缩、次轮不可压缩”可作为先验。
- 在 MoE 推荐/广告模型中，专家 FFN 权重可跨不同序列分辨率共享，但 attention 参数应独立，以适应压缩后序列与全分辨率序列的差异；这比全共享更细粒度，利于多尺度特征融合。
- 面向资源受限的线上推理，可先对输入序列做低秩/降采样压缩并分配给第一层，保留关键的后期层高分辨率，配合专家共享减少参数和 FLOPs；这比均匀缩放更有效，有潜力用于生成式推荐的大模型加速。